Pictures in Your Mind: Using Interactive Gesture-Controlled Reliefs to Explore Art

Tactile reliefs offer many benefits over the more classic raised line drawings or tactile diagrams, as depth, 3D shape, and surface textures are directly perceivable. Although often created for blind and visually impaired (BVI) people, a wider range of people may benefit from such multimodal material. However, some reliefs are still difficult to understand without proper guidance or accompanying verbal descriptions, hindering autonomous exploration. In this work, we present a gesture-controlled interactive audio guide (IAG) based on recent low-cost depth cameras that can be operated directly with the hands on relief surfaces during tactile exploration. The interactively explorable, location-dependent verbal and captioned descriptions promise rapid tactile accessibility to 2.5D spatial information in a home or education setting, to online resources, or as a kiosk installation at public places. We present a working prototype, discuss design decisions, and present the results of two evaluation studies: the first with 13 BVI test users and the second follow-up study with 14 test users across a wide range of people with differences and difficulties associated with perception, memory, cognition, and communication. The participant-led research method of this latter study prompted new, significant and innovative developments

Perception of light in virtual reality

Die Lichtwahrnehmung und der Lichteinfall in das menschliche Auge sind grundlegend anders in Szenarien der wirklichen Welt als in Virtual reality (VR) Simulationen. Gewöhnliche Displays, wie sie beispielsweise in VR Headsets verwendet werden, können den vollen Umfang der menschlichen Helligkeitswahrnehmung nicht abbilden. Deswegen müssen Licht-Phänomene, wie die zeitliche Augenadaption, blendendes Licht, vermindertes Sehvermögen und skotopisches Sehen, simuliert werden, um realistische Bilder zu erzeugen. Obwohl eine Simulation basierend auf physikalischen Grundlagen, die wahrgenommene Echtheit von VR Applikationen wesentlich erhöhen könnte, wurde dieses Thema noch nicht vollständig wissenschaftlich erforscht. Wir stellen einen Post-Processing Arbeitsablauf vor, für VR und augmented reality (AR), mithilfe von Eye Tracking, welcher auf medizinischen Untersuchungen von gesunden, menschlichen Augen basiert und außerdem Echtzeit Laufzeiten erzielen kann, um Lichteffekte so real wie möglich zu simulieren. Wir stellen neue und schnellere Algorithmen vor, um die Simulation von blendenden Lichtern und vermindertem Sehvermögen im Dunkeln realistischer wirken zu lassen. Wir adaptieren die Intensität des in das Auge einfallenden Lichts abhängig von der Blickrichtung des Nutzers. Zusätzlich simulieren wir die Anpassung des Auges an verschiedene Lichtverhältnisse, sowie die Veränderung der Farbwahrnehmung im Dunkeln. Wir haben die erste Versuchsstudie abgehalten, welche eine Alltagsszene mit niedrigen Lichtverhältnissen direkt mit einer entsprechenden VR Simulation vergleicht. Viele Teilnehmer erwähnten, dass die Simulation der meisten Effekte ähnlich, beziehungsweise gleich, wie ihre eigene Wahrnehmung waren. Es hat sich jedoch herausgestellt, dass weitere Arbeit an dem Erscheinungsbild des blendenden Lichts sowie dessen Bewegungen notwendig sind. Wir schließen, dass unsere Arbeit eine Grundlage für weitere Forschung bezüglich der Simulation und individuellen Anpassung an Lichteffekte, gelegt hat.The perception of light and light incidence in the human eye is substantially different in real-world scenarios and virtual reality (VR) simulations. Standard low dynamic range displays, as used in common VR headsets, are not able to replicate the same light intensities we see in reality. Therefore, light phenomenons, such as temporal eye adaptation, perceptual glare, visual acuity reduction and scotopic color vision need to be simulated to generate realistic images. Even though, a physically based simulation of these effects could increase the perceived reality of VR applications, this topic has not been thoroughly researched yet. We propose a post-processing workflow for VR and augmented reality (AR), using eye tracking, that is based on medical studies of the healthy human eye and is able to run in real time, to simulate light effects as close to reality as possible. We improve an existing temporal eye adaptation algorithm to be view-dependent. We adapt a medically based glare simulation to run in VR and AR. Additionally, we add eye tracking to adjust the glare intensity according to the viewing direction and the glare appearance depending on the users pupil size. We propose a new function fit for the reduction of visual acuity in VR head mounted displays. Finally, we include scotopic color vision for more realistic rendering of low-light scenes. We conducted a primarily qualitative pilot study, comparing a real-world low-light scene to our VR simulation through individual, perceptual evaluation. Most participants mentioned, that the simulation of temporal eye adaptation, visual acuity reduction and scotopic color vision was similar or the same as their own perception in the real world. However, further work is necessary to improve the appearance and movement of our proposed glare kernel. We conclude, that our work has laid a ground base for further research regarding the simulation and individual adaptation to the perception of light in VR.9